Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models
用自生成多样化解题轨迹增强大语言模型的强化学习推理
🧭 自生成多样化解题轨迹增强RL推理 ★ 深度解读
Arizona State University · Google Cloud AI Research · Google DeepMind
自生成多样化解题轨迹指导中期训练，提升后续强化学习的推理性能和策略组合能力
📌 工作参考价值（4 点）
- 在RL微调前，用启发式提示生成多种正确推荐理由或对话策略，进行多样化监督训练，可拓宽探索空间并提升RL最终性能。
- 借鉴“固定训练量下，多样化比增加任务数更有效”的结论，在生成数据时，为同一用户或商品生成多个正确但风格不同的响应，而非追求更多样本。
- 使用规则验证器+奖励模型筛选自生成数据，可确保多样性与正确性的平衡，可用于Agent多智体协作策略生成。
- 理论分析指出多模态策略分布有助于梯度更新，可在策略网络中设计多分支输出或温度控制，避免模式崩塌。